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摘 要 : 针对 传统 局 部 立体 匹配 算法 在 深度 不 连续 区 域 误 匹 配 率 高 的 问题 ， 提 出 一 种 基于 自 适应 权重 的 诞 挡 信 息 立 
体 匹 配 算 法 。 首 先 ， 采用 左右 一 致 性 检测 算法 检测 参考 图 像 与 目标 图 像 的 这 挡 区 域 ; 然后 利用 遮挡 信息 ， 在 代价 聚 
合 阶段 降低 遮挡 区 域 像 素 点 所 占 权 重 ， 在 视差 优化 阶段 采用 扫描 线 传播 方式 选择 水 平方 向 最 近 点 填充 遮挡 区 域 的 视 
差 ; 最 后 ， 根 据 Middlebury 数据 集 提 供 的 标准 视差 图 为 视差 结果 计算 误 匹 配 率 。 实 验 结 果 表 明 ， 基 于 自 适应 权重 的 
遮挡 信息 匹配 算法 相对 于 自 适 应 权重 算法 误 匹配 率 降低 了 16%， 并 解决 了 局 部 立体 匹配 算法 在 深度 不 连续 区 域 误 匹 
配 率 高 的 问题 ， 提 高 了 算法 的 匹配 精确 性 

关键 词 : 立体 匹配 ; 自 适 应 权重 ; 迹 档 检测 ; 代价 聚合 ; 视差 优化 

中 图 分 类 号 : TP391.41 doi: 10.19734/j.issn.1001-3695.2018.08.0669 


Occlusion information stereo matching approach based on adaptive weight 


Zhang Yani!, Diao Qingqing!, Zhu Lingyun’ 
(1. College of Computer Science & Engineering, Chongqing University of Technology, Chongqing 400054, China; 2. 
Liangjiang International College, Chongqing University of Technology, Chongqing 401135, China) 


Abstract: Aiming at the high mismatching rate of traditional local stereo matching algorithm at the depth discontinuities, 
this paper proposed an occlusion information stereo matching approach based on adaptive weight. Firstly, left-right 
consistency check algorithm detected the occlusion area of the reference image and the target image. Then, this paper 
utilized occlusion information to reduce the weight of pixels in the occlusion area at the process of cost aggregation, and 
scanline propagation filled occlusion pixels with horizontally nearest points in the disparity refinement stage. Finally, the 
mismatching rate of disparity map was calculated according to the Middlebury standard image dataset. The experimental 
results show that compared with adaptive support weight approach, the occlusion information stereo matching approach 
based on adaptive weight decreases the mismatching rate by 16%. Meanwhile, the proposed algorithm not only has lower 
mismatching rate in the depth discontinuous region, but also improves the accuracy of algorithm matching. 
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许多 算法 都 将 谈 挡 恢复 当 作 是 一 个 附属 问题 不 处 理 或 者 在 
差 优化 阶段 做 简单 处 理 。 然 而 ， 要 想得到 更 加 精确 的 深度 

立体 匹配 是 通过 两 台 平行 放置 、 参 数 相同 的 摄像 机 从 不 像 ， 对 遮挡 区 域 的 处 理 是 必 不 可 少 的 。 
同 视角 拍摄 同一 场景 得 到 的 两 幅 图 像 计算 视 差 图 的 过 程 。 迹 挡 处 理 的 方式 通常 分 为 两 种 。 第 一 种 方式 是 在 视差 优 
Scharstein 与 Szeliski 对 立体 匹配 算法 中 做 了 详尽 的 研究 ， 并 化 阶段 直接 对 遗 挡 区 域 的 像素 点 进行 检测 与 恢复 ， 常 见 的 视 
将 其 分 为 四 个 步 又， 匹配 代价 计算 、 代 价 聚 合 、 视 差 计算 以 差 优化 方法 有 左右 一 致 性 检测 LRCUeft right consistency)m、 
及 视差 优化 。 全 局 立体 匹配 征 是 在 整 幅 立体 图 像 对 上 进行 视 。 亚 像素 插值 号 、 加 权 中 值 滤波 外、 图 像 分 割 平面 填充 no 等 。 
差 优化 ， 最 小 化 能 量 函 数 计算 视差 。 局 部 立体 匹配 54 是 对 支 。 陆军 等 人 提出 一 种 新 的 视差 优化 插值 算法 ， 采 用 左右 一 至 
持 窗 口内 的 像素 点 进行 代价 聚合 ， 采 用 简单 的 WTA(winner 。 性 遮挡 检测 算法 检测 谈 描 区域， 利用 颜色 与 距离 相似 性 进行 
take all) 视 差 选择 策略 计算 视差 。 两 种 立体 匹配 算法 都 包含 一 ”插值 计算 , 提高 迹 挡 估计 的 效果 ; Ye 等 人 9 提出 一 种 多 步 视 
个 假设 外 ， 即 场景 是 分 段 平滑 的 。 局 部 立体 匹配 算法 假设 支 。 差 优化 的 遮挡 处理 框架 ， 将 异常 信 分 为 最 左 侧 谈 挡 、 非 边界 
窗口 内 的 场景 是 平滑 的 ， 而 全 局 立体 匹配 算法 则 直接 基于 迹 挡 、 以 及 错误 匹配 三 类 ， 依 据 不 同 策略 对 异常 值 分 别 进 生 
平滑 性 假设 进行 建 模 。 然 而 ， 该 假设 在 实际 生活 中 通常 是 不 。 ”恢复 ， 并 提出 一 种 基于 顺序 的 表面 决策 方法 应 对 背景 复杂 
合理 的 ， 在 大 多 数 物体 的 边缘 部 分 ， 深 度 是 不 连续 的 。 者 存在 多 个 背景 区 域 的 情况 。 第 二 种 方式 是 通过 改进 匹配 算 
深度 不 连续 区 域 通常 伴随 着 人 挡 问题 的 出 现 。 在 双 目 立 ”法 使 其 对 迹 挡 问题 具有 好 的 鲁 棒 性 。 如 周 旺 慰 等 人 (3 提出 一 
体 视觉 系统 中 ， 谈 挡 现 象 的 出 现 主要 是 由 于 拍摄 视角 的 不 。 种 自 适 应 权重 Census 变换 立体 匹配 算法 ， 在 Census 变换 阶 
同 ， 距 离 摄像 头 较 近 的 前 景区 域 将 距离 摄像 头 较 远 的 背景 区 段 计算 灰 度 差 区 别 对 待 窗口 内 的 像素 点 ， 并 在 代价 聚合 阶段 
域 的 部 分 像素 点 所 遮挡 ， 使 背景 区 域 被 这 挡 的 像素 点 仅 在 立 。 ”引入 自 适应 权重 改变 聚合 窗口 大 小 ， 提 高 了 算法 在 深度 不 连 
体 图 像 对 的 一 幅 图 中 成 像 。 由 于 遮挡 问题 的 非 双 目 可 见 性 ， 。 续 区 域 的 匹配 效果 。 事 实 上 ， 在 匹配 过 程 中 ， 由 于 选 挡 区 域 
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的 非 双 目 可 见 性 


配 代 价 ， 会 影响 非 ; 
与 匹配 过 程 融 合 ， 


挡 区 域 像素 点 的 影响 ， 


4 匹配 结果 。 将 遮挡 信息 
遮挡 区 域 像素 点 对 非 侦 


本 文 是 在 经 : 


匹配 算法 [由 的 基础 


上 提出 的 改进 方法 。 在 具有 遮挡 信息 的 实验 条 位 
方面 对 遮挡 区 域 像 素 点 进 
为 遮挡 区 域 像 素 点 分 配 较 小 上 
点 代价 聚合 的 时 
挡 背 景 的 先 验 久 


F 下， 从 两 个 


盏 ， 在 代价 聚合 阶段 


对 待 匹配 像素 
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FE 谈 挡 区 域 像素 点 的 匹 在 点 ?所 有 可 能 的 视差 范围 内 ， 代 价 聚 合 得 到 的 相似 差 


异 最 小 的 点 即 为 同 源 匹 配点 ， 对 应 的 视差 记 为 点 ? 的 视差 。 


遮挡 条 件 下 的 自 适 应 权重 立体 匹配 算法 


2.1 遮挡 条 件 下 立体 匹配 存在 的 问题 


在 局 部 立体 配 匹配 算法 中 ， 自 适应 权重 算法 的 匹配 精确 


度 远 高 于 自 适应 窗口 算法 ， 但 在 纹理 重复 以 及 深度 不 连续 区 
域 仍 然 存在 较 高 的 误 匹 配 率 。 其 中 ， 误 匹配 绝 大 部 分 发 生 在 


化 阶段 根据 前 景 庶 


深度 不 连续 区 域 。 由 于 双 目 摄像 机 拍摄 视角 不 同 ， 在 深度 不 


1 识 为 遮挡 区 域 像 素 点 本 


新 计算 视差 ， 以 提高 


在 深度 不 连续 区 域 视差 
本 文 提 出 的 算法 不 仅 提 


性 .通过 实验 对 比分 析 ， 


高 了 立体 匹配 在 深 


度 不 连续 区 域 的 匹 


配 精确 性 ， 同 时 改善 了 


缘 模 糊 等 问题 。 


1 ” 自 适 应 权重 立体 匹配 算法 
Yoon 等 人 提出 的 


塔 分 组 原理 中 的 接近 性 
越 近 , 越 容 易 被 认为 是 一 个 整体 ; 
物体 越 相似 , 越 容易 被 认为 


辐 的 前 景 膨胀 ， 以 及 边 


去 来 源 于 格式 
间 的 相对 距离 


素 相同 的 情况 下 ， 
体 ), 将 颜色 相似 性 与 距 


离 接近 性 两 个 因素 作为 权 习 


步骤 ， 自 适应 名 


1.1 自 适 应 窗口 权重 计算 

算法 根据 几何 接近 性 与 颜色 相似 性 来 
EE， 以 减少 模糊 匹配 ， 
权重 越 大 ， 颜 色 越 相似 的 像素 点 权 习 
像素 点 权重 的 约束 是 可 


支持 窗口 内 的 权 寻 


连续 区 域 通常 伴 随 着 遮挡 问题 的 出 现 。 如 图 1 所 示 ， 点 ? 存 


在 于 参考 图 像 中 ， 但 在 目标 图 像 中 ， 点 ?对 应 的 同 源 匹 配点 
不 存在 。 


被 遮挡 


图 1 一 个 身 在 平面 背景 里 的 简单 物体 
Fig.1 A simple object laying on a planar background 


由 遮挡 引起 的 匹配 问题 主要 体现 在 两 个 方面 ， 一 方面 ， 


子 ， 并 将 匹配 分 为 三 个 
计算 ， 相 似 差异 计算 ， 视 差 选 择 。 


谈 挡 区 域 像素 点 具有 较 高 的 匹配 代价 ， 通 过 遮挡 区 域 像素 点 
非 遮 挡 区 域 像素 点 进行 代价 聚合 ， 相 似 性 差异 会 高 于 一 般 
值 ， 从 而 导致 错误 匹配 ， 男 一 方面 ， 庶 挡 像 素 点 本 身 是 没有 


整 每 个 像素 点 在 
距离 越 接 近 的 像素 点 
E 越 大 ， 同 时 ， 两 者 对 于 


对应 的 同 源 匹 配点 ， 直 接 通过 其 他 像素 点 为 其 计算 视差 是 不 


(1) 


其 中 :， 为 支持 窗口 


4 为 点 ? 文 持 窗口 内 的 


像素 点 ，Acm 是 ?与 9 两 点 间 的 RGB 颜色 距离 ，A8m 是 ?与 


4 两 点 间 的 欧 氏 距离 ， 

数 ，% 与 窗口 的 大 小 成 

1.2 ”相似 差异 计算 
立体 匹配 的 关键 在 于 


办 和 六 分别 是 控制 颜色 与 距离 的 参 


聚合 ， 花 费 


代价 越 小 ， 两 个 待 
算法 ， 该 算法 在 代 


匹配 点 的 相似 度 就 越 高 。 区 别 了 


F 其 他 匹配 


阶段 同时 考虑 了 参考 图 像 与 目标 图 


像 中 两 个 支持 窗 


口 的 权重 计算 ， 是 为 了 减 小 在 深度 不 连续 


域 出 现 的 匹配 误差 。 代 价 


E(p, pu)= 


公式 如 下 : 


时 的 相似 差异 可 


w(p, PW(pa,qu)e(q.44) 


其 中 目标 图 像 中 的 点 p, 与 % 分 别 是 与 参考 图 像 9 
视差 为 4 的 匹 本 


ca) -min| > nrGol7| 
cefr,g,b} 


其 中 :1 是 cefr,g, 中 颜 色 强 度 ，7 是 控 


价 范 围 的 值 。 采 用 TAD (truncated absolute difference ) 方法 


计算 匹配 代价 ， 
1.3 视差 选择 


[x 


述 为 


(2) 


PP 、4 两 点 


匹配 代价 的 计算 


(3) 
央 匹 配 代 


常 值 的 鲁 棒 性 。 


采用 简单 的 WTA 视差 选择 策略 选择 视差 。 视 差 选 择 公 


式 描 述 为 


d, =arg,_min ,ECP,Pu) 


准确 的 。 本 文 从 这 两 个 方面 对 立体 匹配 算法 进行 改进 ， 在 代 


阶段 重新 为 遮挡 区 域 
2.2 ”遮挡 条 件 下 的 自 适 应 权重 计算 


聚合 阶段 为 遮挡 区 域 像 素 点 分 配 较 低 的 权重 ， 在 视差 优化 
像素 点 计算 视差 。 


立 于 遮挡 区 域 的 像素 点 ， 其 同 源 匹 配点 因 被 其 他 区 域 谈 


挡 而 不 存在 ， 因 此 ， 在 为 其 计算 匹配 代价 时 ， 计 算 的 是 谈 挡 
区 域 像素 点 与 其 他 区 域 像素 点 的 匹配 代价 ， 代 价值 通常 比较 
高 。 在 代价 聚合 阶段 ， 若 待 匹配 像素 点 的 支持 窗口 内 包含 这 
当 区 域 的 像素 点 ， 则 其 相似 性 


生 差 异 会 比较 高 ， 从 而 导致 错误 


LE 法 


L 配 。 因 此 ， 可 以 利用 遮 
或 的 像素 点 分 配 较 低 的 权 


言 息 ， 在 代价 聚合 阶段 为 遮挡 区 
从 而 降低 遮挡 区 域 像素 点 所 产 


[Mal 
[wy 


的 不 良 影响 。 
本 文 对 遮挡 区 域 采 取 的 检测 算法 是 左右 一 致 性 检测 


(left-right consistency checking, LRC)， 由 于 在 代价 聚合 阶段 


时 考虑 了 参考 图 像 与 目标 图 像 中 两 个 支持 窗口 的 权重 计 
， 因 此 ， 需 要 分 别 对 两 幅 图 像 的 遮挡 区 域 进 行 检测 。 如 下 


是 对 参考 图 像 遮 挡 区 域 检测 方法 的 介绍 。 首 先 ， 需 要 分 别 得 
到 参考 图 像 与 目标 图 像 的 初始 化 视差 图 ， 然 后 ， 遍 历 参 考 图 
像 中 的 每 一 个 像素 点 ， 点 ? 的 视差 记 为 4 ， 点 2 在 目标 图 像 
FP 对 应 的 同 源 点 (p-d) 的 视差 记 为 4;， 若 Id -ds|>Threshold ， 
则 认为 点 ? 为 遮挡 区 域 的 像素 点 ， 最 后 ， 得 到 参考 图 像 的 谍 
挡 信息 。 检 测 伪 代码 如 下 所 示 。 


Input: Reference image disparity map R,, Target image 
disparity map T,, threshold 

The width of R, w, the height of Rh 

The widthStep/sizeof of R, step, the channels of R, nchs 
Output: Reference occlusion image RR, 

1: for y:=0 toh 

2: for x:=0tow 

3 di (Rimagedataly* step + x*nchs]) 

4: d;,—(T, imagedataly*step+(x—d)*nchs]) 

5: if abs(d—d,)>threhsold 
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6: (R, —>imagedataly* step +x*nchs])) —0 
7: else (R, imagedataly*step+x*nchs])—>255 


8: return R, 


利用 上 述 检测 得 到 的 遮挡 信息 ， 在 代价 聚合 阶段 为 遮挡 
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别 找到 该 像素 点 左边 与 右边 第 一 个 不 是 遮挡 区 域 的 像素 点 


R&o,R ;最 后 对 应 于 参考 图 像 ， 比 较 这 两 个 像素 点 的 视差 
RQ®,RW ， 较 小 的 视差 记 为 谈 挡 像素 点 R® 的 视差 。 算 法 流程 


图 如 图 3 所 示 


区 域 的 像素 点 分 配 较 小 的 权重 ， 权 重 公式 描述 为 


€, disinocclusionregion 


(5) 


A A 
w(p,q)= exp(-( 人 Co 十 Der)), otherwise 
Ye F# 


Pp 


其 中 是 一 个 不 为 零 的 较 小 值 ， 即 使 是 同 源 像素 点 ， 也 会 因 
颜色 的 轻微 不 同 (光照 影响 ) 而 存在 匹配 代价 ， 若 ==0 ， 当 待 
匹配 像素 点 的 支持 窗口 内 包含 较 多 遮挡 区 域 的 像素 点 ， 在 为 
其 代价 聚合 计算 相似 性 差异 时 ， 会 因 减 少 代价 聚合 像素 点 的 
个 数 而 降低 相似 性 差异 ， 从 而 导致 在 视差 选择 阶段 选择 错误 
视差 。 目 标 图 像 中 的 遮挡 区 域 检测 以 及 权重 计算 方式 与 参考 
图 像 相 同 。 
2.3 遮挡 条 件 下 的 视差 重 计算 

对 于 遮挡 区 域 的 像素 点 ， 其 同 源 匹 配点 在 男 一 副 图 像 中 
是 不 存在 的 ， 因 此 ， 直 接 通 过 其 他 像素 点 为 其 计算 视差 是 不 
准确 的 ， 本 文 在 视差 优化 阶段 重新 为 遮挡 区 域 像素 点 计算 视 
差 。 


湾 


在 实际 应 用 中 ， 谈 挡 区 域 一 般 存在 于 背景 区 域 ， 由 于 观 
察 视角 的 不 同 ， 前 景区 域 挡 住 背景 的 部 分 区 域 而 导致 遮 挡 出 
现 。 如 图 2 所 示 ， 从 左 侧 视角 可 以 观察 到 红色 下 对 角 线 纹理 
区 域 ， 但 对 于 右 侧 视角 来 说 该 区 域 属 于 盲区 ， 在 左 侧 视角 拍 
摄 得 到 的 参考 图 像 中 ， 红 色 区 域 被 认为 是 遮挡 区 域 ， 同 样 ， 
从 右 侧 视角 可 以 观察 到 绿色 上 纹理 区 域 ， 该 区 域 对 于 左 侧 视 
角 来 说 属于 盲区 ， 在 右 侧 视角 拍摄 得 到 的 目标 图 像 中 ， 绿 色 
区 域 被 认为 是 遮挡 区 域 。 通 过 观察 发 现 ， 和 遮挡 区 域 都 存在 于 
背景 区 域 。 


Background 


Left Reference View Right Target View 


图 2 前 景 遮挡 背景 
Fig.2 Foreground occlusion background 

从 同一 视角 拍摄 两 个 物体 ， 在 拍摄 得 到 的 图 像 中 ， 距 离 
摄像 头 较 近 的 物体 属于 前 景区 域 ， 距 离 摄像 头 较 远 的 物体 属 
于 背景 区 域 。. 在 深度 不 连续 区 域 通常 伴随 着 遮挡 问题 的 出 现 ， 
被 遮挡 的 区 域 是 距离 前 景区 域 最 接近 的 背景 区 域 。 在 双 目 立 
体 视觉 模型 中 ， 依 据 三 角 测量 原理 可 以 得 到 距离 与 视差 的 计 
算 公 式 为 


z=/2 (6) 


其 中 : Z 表示 物体 距离 摄像 机 的 深度 ，f 为 摄像 机 的 焦距 ，b 
为 基线 ，4 表示 视差 。 当 f 与 b 保持 不 变 时 ， 物 体 距 摄 像 机 
距离 越 近 ， 视 差 越 大 ， 因 此 ， 背 景区 域 的 视差 值 小 于 前 景区 
域 。 依 据 该 原理 ， 在 视差 优化 阶段 ， 为 遮挡 区 域 的 像素 点 重 
新 计算 视差 。 首 先 ， 根 据 新 的 权重 计算 方式 ， 按 照 自 适应 权 
重 立 体 匹 配 算法 得 到 参考 图 像 的 视差 图 R,; 然后 对 最 初 检测 
到 的 参考 图 像 的 谈 挡 图 R, 进行 扫描 ， 若 像素 点 及" 为 遮挡 区 
域 的 像素 点 ， 则 在 该 像素 点 的 水 平方 向 上 向 左 向 右 扫描 ， 分 


x 


Reference disparity map R, 
occlusion image 
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图 3 遮挡 区 域 像素 点 视差 重 计算 流程 图 
Fig.3 Flow chart of parallax recalculation of occlusion pixels 
通过 对 遮挡 区 域 的 像素 点 在 代价 聚合 以 及 视差 优化 两 个 
阶段 的 处 理 ， 目 的 是 提高 传统 自 适应 权重 算法 在 深度 不 连续 
往 域 的 匹配 精确 度 ， 改 善 匹配 得 到 视差 图 的 前 景 膨 胀 以 及 在 
视差 不 连续 区 域 边 缘 模糊 等 问题 。 实 验 过 程 及 结果 在 第 三 小 
节 做 具体 分 析 。 
2.4 误 匹 配 率 计算 
本 文通 过 计算 视差 图 的 错误 百分比 对 匹配 算法 进行 评 
估 ， 计 算 方 式 如 下 : 
W= de) -dG 7)>0) 0) 
(77) 


其 中 : N 为 视差 图 像素 点 总 数 , d(x,y) 为 算法 所 得 像素 点 (x,y) 
的 视差 值 ，ds(%,y) 为 Middlebury 数据 集 提供 的 标准 视差 图 
(ground truth) 对 应 像素 点 (%y) 的 视差 值 ，9 为 阔 值 (大 小 通 
常 为 1)。 

为 了 更 好 地 对 实验 结果 进行 评估 ， 通 常 计算 算法 在 无 遮 
挡 区 域 mocc)、 所 有 区 域 (aD) 以 及 深度 不 连续 区 域 (disc) 的 三 
种 错误 百分比 。 


3 ”分 析 与 讨论 


为 了 测试 所 提 算 法 的 匹配 效果 ， 本 文 从 两 方面 进行 了 实 
验 分 析 : a) 利 用 左右 一 致 性 检测 算法 对 参考 图 像 与 目标 图 像 
的 遮挡 区 域 进行 检测 ，b) 在 具有 遮挡 信息 的 条 件 下 ， 在 代价 
聚合 与 视差 优化 阶段 对 遮挡 区 域 像 素 点 进行 处 理 ， 得 到 新 的 
视差 图 。 实 验 采 用 的 软件 平台 为 VS2010， 使 用 C++ 语言 编 
写 算法 ， 通 过 OpenCV 开源 数据 库 完 成 对 图 片 的 读 取 、 显 示 
与 保存 处 理 。 硬 件 平台 : 计算 机 处 理 器 为 Intel Core i7-8550U， 
CPU 主 频 为 1.80GHz， 内 存 容量 为 8G。 实 验 测试 数据 来 源 
于 Middlebury 标准 图 像 集 中 的 四 对 标准 图 像 (Tsukuba, Venus， 
Teddy, Cones)。 
3.1 遮挡 检测 结果 及 分 析 

遮挡 检测 采用 的 方法 是 左右 一 致 性 检测 (LRC)， 所 用 的 
视差 图 是 根据 经 典 自 适应 窗口 权重 立体 匹配 算法 0 得 到 的 。 
由 于 经 典 自 适 应 权重 算法 在 代价 聚合 阶段 同时 考虑 了 参考 图 
像 与 目标 图 像 两 个 支持 窗口 的 权重 ， 因 此 ， 在 遮挡 区 域 检 测 
阶段 需要 分 别 得 到 参考 图 像 与 目标 图 像 的 遮挡 区 域 。 实 验 所 
使 用 的 参数 如 表 1 所 示 

表 中 了 为 控制 匹配 代价 范围 的 参数 ，W 为 支持 窗口 的 宽 
度 ，% 与 X. 分别 为 控制 距离 和 颜色 权重 的 参数 ，Threshold 表 
示 LRC 检 测算 法 所 设 定 的 阔 值 ,如 图 4 分 别 是 Tsukuba, Venus， 
Teddy 以 及 Cones 的 参考 图 像 以 及 其 对 应 的 遮挡 区 域 检测 结 
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果 。 匹配 算法 在 深度 不 连续 区 域 仍 有 较 高 的 误 匹 配 率 。 
表 1 经 典 自 适 应 窗口 权重 算法 以 及 遮挡 检测 算法 的 参数 3.2 立体 匹配 结果 与 分 析 
Table 1 Parameters for adaptive weight-support approach and 在 得 到 遮挡 区 域 的 图 像 后 ， 依 据 本 文 提供 的 改进 算法 ， 
occlusion detection algorithm 在 代价 集合 阶段 为 谈 挡 区 域 像素 点 分 配 较 低 的 权重 ， 这 里 的 
参 W i Threshold 4 人 、 
i = 权重 值 E 二 0.1， 不 设置 为 0 的 原因 是 平衡 本 应 该 存在 的 匹配 
值 40 35 17.5 5 1 


在 谈 挡 图 像 中 ， 谈 挡 区 域 的 像素 点 颜 
域 的 像素 点 颜色 为 白色 。 由 图 


深度 不 连续 的 区 域 ， 
大 ) 遮挡 面积 越 大 。 


(a)Tsukuba 参考 图 像 
(a)Tsukuba reference image 


(e)Tsukuba 遮挡 图 像 
(e)Occlusion of Tsukuba 


(a)Tsukuba 参考 图 像 
(a)Tsukuba reference image 


(e)Tsukuba 标准 视差 图 
(e)Tsukuba ground truth 


0 中 本文 处 理 后 的 Tsukuba 视差 


图 


(i)disparity map of Tsukuba 


色 为 黑色 ， 其 他 区 
4 可 以 看 出 ， 和 遮挡 通常 发 生 在 
adel (视差 越 


同时 可 以 看 出 ， 经 典 的 自 适 应 权重 立体 


(b)Venus 参考 图 像 


(b)Venus reference ima 


(fjVenus 遮挡 图 像 


ge 


(DOcclusion of Venus 


图 


代价 ,防止 因 减 少 代价 聚合 
造成 误 匹 配 ; 


是 


结果 如 图 5 所 示 。 


(c)Teddy 参考 图 像 
(c)Teddy reference image 


(g)Teddy 遮挡 图 像 
(g)Occlusion of Teddy 


4 遮挡 检测 


Fig.4 Occlusion detection 


(b)Venus 参考 图 像 
(b)Venus reference ima 
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(fj)Venus 标准 视差 图 


(f)Venus ground truth 


0) 本 文 处 理 后 的 Venus 视差 图 


()disparity map of Ven 


US 


(c)Teddy 参考 图 像 
(c)Teddy reference image 


(g)Teddy 标准 视差 图 


(g)Teddy ground truth 


(k) 本 文 处 理 后 的 Teddy 视差 图 
(k)disparity map of Teddy 


图 5 实验 结果 


Fig.5 Experience result 


的 像素 点 的 个 数 而 降低 匹配 代价 ， 
在 视差 优化 阶段 依据 前 景 遮 挡 背 景 的 先 验 知识 
新 为 遮挡 区 域 像素 点 计算 视差 。 本 文 算法 所 得 到 的 视差 图 


(d)Cones 参考 图 像 


(d)Cones reference image 


(h)Cones 遮挡 图 像 


(h)Occlusion of Cones 


(d)Cones 参考 图 像 


(d)Cones reference image 


) 
| 
(h)Cones 标准 视差 图 
(h)Cones ground truth 
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EE 


(本文 处 理 后 的 Cones 视差 图 


(Ddisparity map of Cones 
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图 5 可 以 看 出 ， 匹 配 得 到 了 较 好 的 视差 结果 ， 并 且 较 
为 清晰 的 区 分 了 物体 在 深度 不 连续 区 域 的 不 同 视差 。 给 定 视 
差 图 、 基 线 、 以 及 校准 得 到 的 焦距 信息 ， 根 据 三 角 测 量 原理 
即 可 计算 出 像素 点 在 三 维 世界 中 的 位 置信 息 。 从 视差 图 中 可 
以 看 出 ， 颜 色 强度 越 强 ， 视 差 值 越 大 ， 距 离 越 近 。 通 过 对 比 
标准 视差 图 ， 可 以 发 现 本 文 得 到 的 视差 图 在 低 纹 理 区 域 以 及 
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本 文 在 代价 聚合 阶段 为 遮挡 区 域 像 素 点 分 配 较 低 的 权 
重 ， 降 低 了 遮挡 区 域 像素 点 对 于 待 匹 配 像素 点 代价 聚合 的 影 
响 ， 提 高 了 立体 匹配 整体 结果 的 精确 性 ， 在 视差 优化 阶段 依 
据 前 景 遮挡 背景 的 先 验 知识 重新 为 遮挡 区 域 像素 点 计算 视 


纹理 重复 区 域 仍然 有 一 定 的 误 匹 配 ， 后 续 可 以 在 该 方面 继续 
进行 研究 。 
3.3 算法 对 比分 析 


差 ， 提 高 了 遮挡 区 域 像素 点 视差 计算 的 准确 性 ， 降 低 了 立体 
匹配 在 深度 不 连续 区 域 的 误 匹 配 率 。 实 验 结果 显示 ， 本 文 算 
法 改善 了 所 得 视差 图 的 前 景 膨胀 ， 边 缘 模糊 等 问题 。 通 过 与 


pa 


Rar 吉 果 的 精确 性 ， 将 所 得 到 的 视差 


与 


标准 视差 图 进行 对 比 ， 分 别 计算 算法 在 无 遮挡 区 域 (nocc)、 
所 有 区 域 (all))、 深 萌 误 百分比 以 及 平均 
普 误 百 分 比 ， 并 与 经 典 自 适 应 窗口 立体 匹配 算法 0 、 自 适应 
权重 的 改进 算法 0 以 及 引入 自 适 应 权重 的 Census 变换 立体 
匹配 算法 53 进行 对 比 ， 所 得 结果 如 表 2 所 示 。 
表 2 算法 误 匹 配 率 
Table 2 Mismatching rate 
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mm 


Tsukuba Venus Teddy Cones Avg 
Algorithm 


nocc all disc nocc all disc nocc all disc nocc all disc 


Proposed 1.60 1.82 6.60 0.43 0.58 2.35 6.71 11.8 17.1 2.67 8.12 7.3 5.58 
Paper [14] 1.38 1.85 6.90 0.71 1.91 6.13 7.88 13.3 18.6 3.97 9.79 8.26 6.67 
Paper [15] 2.07 2.93 10.2 0.22 0.63 2.53 5.99 11.9 14.4 2.72 8.63 7.57 5.83 
Paper [13] 4.83 6.45 11.8 1.03 1.92 7.58 7.89 6.65 18.1 4.52 5.40 7.42 6.95 


8 


8 


Proposed 
Paper [14] 


Proposed 
Paper [14] 


9 


口 


error percentage 
性 


IN 


error percentage 
ES 


[| 


nocc all disc noce all disc 
(a)Tsukuba (b)Venus 
9 10 
Proposed 
3 由 
Ee Paper [14] 28 8 
2 名 
三 15 昌 
8 5 
o 5 6 
和 a 
5 10 中 
5 回 财 Proposed 
Paper [14] 
5 : 
nocc all disc nocc all disc 
(c)Teddy (d)Cones 


图 6 本 文 算法 与 自 适应 权重 算法 对 比 结果 


Fig.6 Result of contrast between Proposed and adaptive weight 


approach 
表 2 可 以 看 出 ， 本 文 所 提 算 法 相 较 于 经 典 自 适 应 权 
立体 匹配 算法 M4 平均 误 匹 配 率 降低 了 16%。 文献 中 是 ee 适应 
重 的 改进 算法 ,文献 i 引 是 针对 深度 不 连续 区 域 误 匹配 率 高 
的 改进 算法 ， 将 本 文 算法 与 两 种 算法 进行 比较 ， 本 文 算法 有 
更 低 的 误 匹 配 率 。 由 于 本 文 是 针对 深度 不 连续 区 域 的 遮挡 检 
测 与 处 理 ， 检 测 得 到 遮挡 区 域 ， 并 依据 前 景 遮 挡 背 景 对 其 进 
行 恢复 , 因此 , 降低 了 算法 在 深度 不 连续 区 域 的 错误 百分比 。 
同时 ， 减 少 遮 挡 区 域 像素 点 对 非 遮 挡 区 域 像素 点 代价 聚合 时 
的 影响 ， 提 高 了 立体 匹配 算法 的 匹配 精确 度 。 
为 了 更 加 清楚 地 表示 算法 的 改进 效果 ， 通 过 图 6 显示 本 
文 算法 与 自 适 应 权重 算法 5 的 对 比 结果 ， 可 以 看 出 本 文 提出 
的 算法 不 仅 降低 了 算法 在 深度 不 连续 区 域 的 误 匹 配 率 ， 还 提 
高 了 立体 匹配 算法 的 匹配 精确 度 ， 算 法 改进 结构 简单 ， 后 期 
实验 可 以 通过 引入 多 线程 提高 算法 运算 效率 。 
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经 典 自 适应 立体 匹配 算法 及 其 改进 算法 对 比 ， 本 文 算法 提高 
了 局 部 立体 匹配 算法 在 深度 不 连续 区 域 匹配 结果 的 精确 性 。 
本 文 算法 的 匹配 精确 度 在 自 适 应 权重 立体 匹配 算法 上 更 进 
步 ， 但 算法 效率 稍 低 ， 后 期 会 针对 如 何 提高 算法 的 运行 效率 
做 进一步 研究 与 实验 。 
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